Blind separation of sources, part II: Problems statement

Though it arouses more and more curiosity, the HJ iterative algorithm has never been derived in mathematical terms to date. We attempt in this paper to describe it from a statistical point of view. For instance the updat ing term of the synaptic efficacies matrix cannot be the gradient of a single C a functional contrary to what is sometimes understood. In fact, we show that the HJ algorithm is actually searching common zeros of n functionals by pipelined stochastic iterations. Based on simulat ion results, advantages and limitations as well as possible improvements are pointed out after a short theoretical analysis. Zusammenfassung. Obwohl er mehr und mehr Interesse weckt, ist der iterative HJ-algori thmus noch nie au f mathemat ischem Wege hergeleitet worden. In diesem Beitrag versuchen wir, ihn von einem statistischen Gesichtspunkt aus zu beschreiben. Zum Beispiel kann der Erneuerungsterm der synaptischen Wirksamkeitsmatrix nicht der Gradient eines einzelnen C 2Funktionals sein obwohl er gelegentlich so interpretiert wird. Wir zeigen, dab der HJ-Algori thmus in der Tat gemeinsame Nullstellen von n Funkt ionalen mittels stochastischer, im Pipelining ausgefiihrter Iterationen sucht. Auf der Grundlage von Simulat ionen werden Vorteile und Bergrenzungen sowie mrgl iche Verbesserungen nach kurzer theoretischer Analyse dargelegt. R6sum6. Bien qu'il 6veille maintenant de plus en plus de curiosit6, l 'algorithme it&atif HJ n 'a jusqu '~ pr6sent jamais 6t6 justifi6 en termes math6mat iques rigoureux. Par exemple, le terme de remise ~ jour des poids synaptiques ne peut pas ;~tre le gradient d 'une fonctionnelle unique de classe C 2, contrairement h ce qui est paffois reconnu. Nous essayons dans cet article de le pr6senter en empruntant une approche statisique. Nous montrons que I 'algorithme HJ recherche en r6alit6 les z6ros communs de n fonctionnelles par des it6rations stochastiques pipelin6es. Apr~s une courte analyse th6orique, et en nous appuyant sur des simulations, nous soulignons les avantages et les limitations de l 'algorithme, ainsi qu 'un certain nombre d'am61iorations possibles.